项目背景¶
企业面临库存积压、客户流失、物流成本高等问题，亟需通过数据驱动优化运营。现有海量交易数据（40万+订单），但缺乏系统性分析框架，导致决策效率低下，利润持续承压。
本项目围绕销售、客户、库存、物流四大核心模块，通过数据挖掘、预测建模与策略优化，实现商业效率全面提升。
数据清洗¶
In [1]:
import pandas as pd
import numpy as np
In [13]:
df = pd.read_excel('./数据/Online Retail.xlsx')
df.sample(9)
Out[13]:
In [14]:
df.info()
In [15]:
df.isnull().sum()
Out[15]:
In [16]:
df[['Quantity', 'UnitPrice']].describe()
Out[16]:
In [41]:
df_clean = df.dropna(subset=['CustomerID'])
df_clean
Out[41]:
In [42]:
len(df_clean)
Out[42]:
In [45]:
df_clean.isna().sum()
Out[45]:
In [46]:
# 过滤 Quantity 为负数的记录（退货订单单独分析）
# 注意：退货需关联原始订单，此处仅保留正常销售记录
df_clean = df_clean[df_clean['Quantity'] > 0]
# 过滤异常价格（如 UnitPrice <=0 或极端高价）
df_clean = df_clean[(df_clean['UnitPrice'] > 0) & (df_clean['UnitPrice'] < 1000)]
# 检查清洗后的统计摘要
print("\n清洗后数值字段统计摘要：")
print(df_clean[['Quantity', 'UnitPrice']].describe())
In [47]:
# 标记退货订单（InvoiceNo以'C'开头）
df_clean['IsReturn'] = df_clean['InvoiceNo'].astype(str).str.startswith('C')
# 可选：将退货订单单独存储（用于后续分析）
df_returns = df_clean[df_clean['IsReturn']]
# 仅保留正常销售订单（若需排除退货）
df_sales = df_clean[~df_clean['IsReturn']]
In [48]:
# 删除完全重复的行
df_clean = df_clean.drop_duplicates()
In [49]:
# 转换 InvoiceDate 为 datetime 类型
df_clean['InvoiceDate'] = pd.to_datetime(df_clean['InvoiceDate'])
df_clean.sample(10)
Out[49]:
In [50]:
# 保存为新的 CSV 文件
df_clean.to_csv('Online_Retail_Clean.csv', index=False)
print("\n清洗后的数据已保存为 'Online_Retail_Clean.csv'")
销售额分析¶
In [1]:
pip install duckdb
销售额趋势¶
In [2]:
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import duckdb
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
In [6]:
df = pd.read_csv(
'./Online_Retail_Clean.csv',
parse_dates=['InvoiceDate'], # 强制解析日期字段！
dtype={'InvoiceNo': str} # 保持InvoiceNo为字符串
)
query_step1 = '''
SELECT
strftime(
CAST(InvoiceDate AS TIMESTAMP), -- 显式类型转换！
'%Y-%m'
) AS Month,
SUM(UnitPrice * Quantity) AS TotalSales
FROM df
WHERE
Quantity > 0
AND NOT (InvoiceNo LIKE 'C%')
GROUP BY Month
ORDER BY Month;
'''
df_step1 = duckdb.sql(query_step1).to_df()
df_step1
Out[6]:
In [7]:
import matplotlib.pyplot as plt
import matplotlib.dates as mdates
import seaborn as sns
def plot_sales_trend(df, figsize=(12,6), title='月度销售额趋势分析',
line_color='#2E86C1', marker='o', grid_alpha=0.3):
"""
绘制月度销售额折线图
参数：
df : 必需含 'Month'(YYYY-MM格式) 和 'TotalSales' 列的DataFrame
figsize : 图表尺寸，默认(12,6)
title : 标题，支持中文
line_color: 折线颜色，支持HEX/RGB/颜色名称
marker : 数据点样式，默认圆形 ('o')，设为None可隐藏
grid_alpha: 网格线透明度（0为透明，1为不透明）
"""
# 预处理数据（确保日期排序正确）
df = df.copy()
df['Date'] = pd.to_datetime(df['Month']) # 转为datetime类型保证排序
df.sort_values('Date', inplace=True)
plt.figure(figsize=figsize)
ax = plt.gca()
# 绘制折线
sns.lineplot(
data=df, x='Date', y='TotalSales',
marker=marker, color=line_color,
linewidth=2.5, markersize=8,
markeredgecolor='white', markeredgewidth=1
)
# 添加数据标签（动态旋转角度防止重叠）
for idx, row in df.iterrows():
ax.text(
row['Date'], row['TotalSales'] + 20000, # 文字位置微调
f"{row['TotalSales']/1000:.1f}K", # 自动转K显示
ha='center', va='bottom',
rotation=45 if len(df) > 12 else 0, # 月份多则倾斜标签
fontsize=9, alpha=0.75
)
# 高级日期轴格式化
locator = mdates.MonthLocator(interval=1) # 每月显示刻度
ax.xaxis.set_major_locator(locator)
ax.xaxis.set_major_formatter(mdates.DateFormatter('%Y-%m'))
# 美化样式
plt.title(title, fontsize=14, pad=20, fontweight='bold')
plt.xlabel('月份', fontsize=12, labelpad=10)
plt.ylabel('销售额 ', fontsize=12, labelpad=10)
plt.grid(True, linestyle='--', alpha=grid_alpha)
plt.xticks(rotation=45) # 统一旋转防止重叠
# 智能Y轴范围调整（留出顶部空间）
ymin, ymax = ax.get_ylim()
ax.set_ylim(ymin, ymax*1.1) # 上方留10%空位
sns.despine() # 去除多余边框
plt.tight_layout()
plt.show()
# 调用函数 (一步生成专业图表)
plot_sales_trend(
df_step1,
title='在线零售每月销售额趋势分析 (2010.12-2011.12)',
line_color='#E67E22', # 修改为橙色
marker='D', # 菱形标记点
grid_alpha=0.4
)
峰值月份：2011年11月（可能受“双11”促销驱动，销售额显著上升）。
低谷月份：2011年2月（春节假期导致物流停运，销售下滑）。
平稳期：2011年5-8月（无大促，销售额波动较小）。
热门产品¶
In [ ]:
In [9]:
query_step2 = """
SELECT
StockCode,
Description,
SUM(Quantity) AS TotalQuantitySold,
SUM(UnitPrice * Quantity) AS TotalRevenue
FROM df
WHERE Quantity > 0
GROUP BY StockCode, Description -- 必须包含所有非聚合字段!!
ORDER BY TotalQuantitySold DESC -- 使用别名排序
LIMIT 10;
-- 2. 如果还需要按销售额排序添加新查询（不能直接接在前一条语句末尾）
SELECT
StockCode,
Description,
SUM(Quantity) AS TotalQuantitySold,
SUM(UnitPrice * Quantity) AS TotalRevenue
FROM df
WHERE Quantity > 0
GROUP BY StockCode, Description
ORDER BY TotalRevenue DESC -- 修改排序字段为销售额
LIMIT 10;
"""
df_step2 = duckdb.sql(query_step2).to_df()
df_step2
Out[9]:
国家贡献¶
In [11]:
query_step3 = """
WITH CountrySales AS (
SELECT
Country,
SUM(UnitPrice * Quantity) AS Sales,
SUM(SUM(UnitPrice * Quantity)) OVER() AS GlobalSales -- 总销售额
FROM df
GROUP BY Country
)
SELECT
Country,
Sales,
Sales * 100.0 / GlobalSales AS Percentage,
SUM(Sales) OVER(ORDER BY Sales DESC) / GlobalSales AS CumulativePercentage
FROM CountrySales
ORDER BY Sales DESC;
"""
df_step3 = duckdb.sql(query_step3).to_df()
df_step3
Out[11]:
客户分析¶
RMF客户分群¶
In [8]:
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from datetime import datetime
# 加载清洗后的数据（假设文件名为 'Online_Retail_Clean.csv'）
df = pd.read_csv('Online_Retail_Clean.csv', parse_dates=['InvoiceDate'])
print("数据前5行：")
df.head()
Out[8]:
In [9]:
# 设定当前日期（假设数据最新日期为分析日期）
current_date = df['InvoiceDate'].max() + pd.DateOffset(days=1)
# 计算每个客户的 RFM 值
rfm = df.groupby('CustomerID').agg({
'InvoiceDate': lambda x: (current_date - x.max()).days, # Recency（最近一次消费距今天数）
'InvoiceNo': 'nunique', # Frequency（消费次数）
'UnitPrice': lambda x: (x * df.loc[x.index, 'Quantity']).sum() # Monetary（总消费金额）
}).reset_index()
# 重命名列
rfm.columns = ['CustomerID', 'Recency', 'Frequency', 'Monetary']
print("\nRFM 数据示例：")
rfm.head()
Out[9]:
In [10]:
print("【检查Frequency阈值】")
print(rfm['Frequency'].value_counts().sort_index())
print("\n【观察Monetary分位点】")
print(rfm['Monetary'].quantile([0.25,0.5,0.75,1.0]))
In [19]:
rfm['R_Score'] = pd.qcut(rfm['Recency'], q=4, labels=range(4,0,-1), duplicates='drop')
# 针对Frequency定制分箱边界（单位：购买次数）
frequency_bins = [0, 1, 3, 8, np.inf] # 左开右闭区间
frequency_labels = ['低活跃', '次活跃', '一般活跃', '高活跃']
rfm['F_Score'] = pd.cut(
rfm['Frequency'],
bins=frequency_bins,
labels=range(1,5), # 此处用数字标签是为了后续RFM总分计算
right=True, # 右侧闭合：例如 (1,3] 包括3
include_lowest=False # (0,1] => 不包含0，但第一个箱的起始是0.0
)
In [20]:
# 先对Monetary取对数（缩小极差值）
rfm['Monetary_log'] = np.log10(rfm['Monetary'] + 1e-5) # 避免0值无法取对数
# 命中分布的分位数（调整后）
quantiles = rfm['Monetary_log'].quantile([0.25, 0.5, 0.75, 1.0])
print("转换后分位数:")
print(quantiles)
# 将信息转换为实际货币分箱边界（逆转换）
actual_bins = [0] + [10**q for q in quantiles.iloc[:-1]] + [rfm['Monetary'].max()]
print("\n实际分箱边界(Monetary原始值):")
print([round(b,2) for b in actual_bins])
# 执行分箱
rfm['M_Score'] = pd.cut(
rfm['Monetary'],
bins=actual_bins,
labels=range(1,5),
include_lowest=True # 包含最小值？
) #需要根据默认值进行调整
rfm.head()
Out[20]:
In [22]:
print("\n 验证分箱覆盖情况(Frequency)：")
print(rfm['F_Score'].value_counts().sort_index())
print("\n 查看Monetary分箱边界有效性：")
print(rfm.groupby('M_Score')['Monetary'].agg(['min','max','count']).round(2))
In [28]:
# Python 条件筛选实现示例
conditions = [
(rfm['R_Score'] >=4) & (rfm['F_Score']==4) & (rfm['M_Score']==4), # 至尊VIP
((rfm['F_Score'] <=2) | (rfm['M_Score'] <=2)) & (rfm['R_Score'] >=4), # 高潜力客户
(rfm['R_Score'] >=3) & (rfm['M_Score'] >=3) & (rfm['F_Score'] >=3), # 常规忠诚客户
(rfm['R_Score'] <=2) & (rfm['F_Score'] >=3) & (rfm['M_Score'] >=3), # 沉睡用户
(rfm['R_Score'] <=2) & ((rfm['F_Score'] <=2) | (rfm['M_Score'] <=2)), # 流失风险
(rfm['F_Score'] ==1) | ((rfm['F_Score'] >1) & (rfm['M_Score']==1) & (rfm['R_Score'] <=3)) # 长尾低频
]
groups = ["至尊VIP", "高潜力客户", "常规忠诚客户", "沉睡用户", "流失风险客户", "长尾低频客户"]
rfm['客户层级'] = np.select(conditions, groups, default='其他未归类客户')
rfm.to_csv('rfm_segments.csv')
In [25]:
# 统计各群体人数
segmented = rfm['客户层级'].value_counts().reset_index()
segmented.columns = ['客户层级', '人数']
segmented['占比'] = (segmented['人数'] / segmented['人数'].sum() *100).round(1)
segmented
Out[25]:
In [34]:
pip install plotly
In [26]:
from matplotlib import cm
import matplotlib.pyplot as plt
from matplotlib.ticker import PercentFormatter
from wordcloud import WordCloud
import plotly.express as px # 使用Plotly生成动态图表
def visualize_customer_segments(df, fig_format='interactive', top_n=8):
"""
客户分群分布的可视化驾驶舱
参数:
df : 必须包含 ['客户层级', 'count'] 的聚合DataFrame
fig_format : 图表输出格式 ('interactive'动态 | 'static'静态)
top_n : 显示占比前N的细分群组(其余归为'其他')
"""
# 预处理: 计算占比并合并长尾群组
grouped = df['客户层级'].value_counts().reset_index()
grouped.columns = ['客户层级', '人数']
grouped['占比'] = grouped['人数'] / grouped['人数'].sum()
# 合并长尾群组（提升可读性）
if top_n < len(grouped):
main_groups = grouped.nlargest(top_n, '人数')
others_count = grouped['人数'].sum() - main_groups['人数'].sum()
others_row = pd.DataFrame([['其他客户群', others_count, others_count/grouped['人数'].sum()]],
columns=grouped.columns)
grouped = pd.concat([main_groups, others_row])
# 智能配色方案（根据业务语义优化）
color_dict = {
'至尊VIP': '#FF6B6B', # 高光红色
'常规忠诚客户': '#4ECDC4', # 信任感的青绿色
'高潜力客户': '#FFD93D', # 充满希望的亮黄色
'沉睡用户': '#6C5B7B', # 神秘紫色代表休眠
'流失风险客户': '#FF6B6B', # 警示红色
'长尾低频客户': '#A8D8EA', # 冷色系
'其他客户群': '#D3D3D3' # 中性灰
}
colors = [color_dict.get(g, '#808080') for g in grouped['客户层级']]
if fig_format == 'interactive':
# 生成交互式旭日图 (需要安装 plotly: pip install plotly)
fig = px.sunburst(
grouped,
path=['客户层级'],
values='人数',
color='客户层级',
color_discrete_map=color_dict,
title='客户分层分布分析 (点击展开细分)',
width=800, height=600
)
fig.show()
return fig
else:
plt.figure(figsize=(15, 8), dpi=120)
# 双图布局：主图+文字说明
plt.subplot(1, 2, 1)
# 气泡图展示多维信息（大小=销售额占比）
bubble_sizes = np.sqrt(grouped['人数']) * 30 # 面积反映人数规模
scatter = plt.scatter(
x=range(len(grouped)),
y=grouped['人数'],
s=bubble_sizes,
c=colors,
alpha=0.7,
edgecolors='w'
)
plt.xticks(ticks=range(len(grouped)), labels=grouped['客户层级'], rotation=45, ha='right')
plt.ylabel('客户人数')
plt.title('客户群分布规模气泡图', fontsize=14)
plt.grid(alpha=0.2)
# 副图：词云展示层级权重 (需安装 wordcloud)
plt.subplot(1, 2, 2)
wordcloud = WordCloud(
width=400,
height=300,
background_color='white',
colormap='viridis' # 使用颜色映射提高辨识度
).generate_from_frequencies({k:v for k,v in zip(grouped['客户层级'], grouped['人数'])})
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis('off')
plt.title('客户群权重词云', fontsize=14)
plt.tight_layout()
plt.show()
return None
#调用生成Interactive版
visualize_customer_segments(rfm, fig_format='interactive')